NeurIPS2022|重振PointNet++雄风！PointNeXt：改进模型训练和缩放策略审视PointNet++...

点击下方卡片&＃xff0c;关注“CVer”公众号

AI/CV重磅干货&＃xff0c;第一时间送达

点击进入—> CV 微信技术交流群

本文通过对模型训练和缩放策略的系统研究重新审视了经典的PointNet&＃43;&＃43;&＃xff0c;并提供了两个主要贡献&＃xff0c;进而提出PointNeXt&＃xff0c;表现SOTA&＃xff01;性能优于PointMLP、Point Transformer等网络&＃xff0c;代码已开源&＃xff08;5天 90&＃43; star&＃xff09;!

PointNeXt: Revisiting PointNet&＃43;&＃43; with Improved Training and Scaling Strategies

单位&＃xff1a;KAUST, 微软

代码&＃xff1a;https://github.com/guochengqian/pointnext

论文&＃xff1a;https://arxiv.org/abs/2206.0467

PointNet&＃43;&＃43; 是用于点云理解的最有影响力的神经架构之一。尽管 PointNet&＃43;&＃43; 的准确性已被 PointMLP 和 Point Transformer 等最近的网络在很大程度上超越&＃xff0c;但我们发现很大一部分性能提升是由于改进了训练策略&＃xff0c;即数据增强和优化技术&＃xff0c;以及增加了模型大小而不是架构创新。因此&＃xff0c;PointNet&＃43;&＃43; 的全部潜力还有待探索。

在这项工作中&＃xff0c;我们通过对模型训练和缩放策略的系统研究重新审视了经典的 PointNet&＃43;&＃43;&＃xff0c;并提供了两个主要贡献。

首先&＃xff0c;我们提出了一组改进的训练策略&＃xff0c;显著提高了 PointNet&＃43;&＃43; 的性能。例如&＃xff0c;我们表明&＃xff0c;在不改变架构的情况下&＃xff0c;PointNet&＃43;&＃43; 在 ScanObjectNN 对象分类上的整体准确率&＃xff08;OA&＃xff09;可以从 77.9% 提高到 86.1%&＃xff0c;甚至优于最先进的 PointMLP。

其次&＃xff0c;我们将倒置残差瓶颈设计和可分离 MLP 引入 PointNet&＃43;&＃43;&＃xff0c;以实现高效且有效的模型缩放&＃xff0c;并提出 PointNeXt&＃xff0c;即下一版本的 PointNets。

PointNeXt 可以灵活扩展&＃xff0c;在 3D 分类和分割任务上都优于最先进的方法。

算法细节

在这一节&＃xff0c;我们展示了通过更先进的训练策略以及模型缩放策略提升PointNet&＃43;&＃43; 的性能。我们从两个小节分别介绍他们&＃xff1a;

&＃xff08;1&＃xff09;训练策略现代化&＃xff1b;

&＃xff08;2&＃xff09;网络架构现代化。

训练策略现代化

本章节中&＃xff0c;我们简述我们的研究方法&＃xff0c; 具体的训练策略可见后续的消融实验章节。

数据增强

数据增强是提升神经网络性能的最重要的方法之一&＃xff0c;而PointNet&＃43;&＃43; 使用了简单的数据增强组合如随机旋转&＃xff0c;缩放&＃xff0c;平移&＃xff0c;抖动&＃xff08;jitter&＃xff09;并应用于不同的数据集。最新的一些方法使用了更强的数据增强方法。例如&＃xff0c; KPConv在训练时随机的失活&＃xff08;drop&＃xff09;部分颜色信息。在这篇工作中&＃xff0c;我们收集了近期方法中用到的常见数据增强方法&＃xff0c;并通过叠加实验定量地研究每个数据集上每种数据增强方法的效果。针对每一个数据集&＃xff0c;我们提出了一组改进的数据增强方法&＃xff0c;其可以大幅度提升了PointNet&＃43;&＃43; 的性能。

优化策略

优化技术主要包含损失函数&＃xff08;loss function&＃xff09;&＃xff0c;优化器&＃xff08;optimizer&＃xff09;&＃xff0c;学习率计划器&＃xff08;learning rate schedulers&＃xff09;&＃xff0c;和超参数&＃xff08;hyperparmeters&＃xff09;。随着机器学习理论的发展&＃xff0c;现代化的神经网络可以被理论上更好的优化器&＃xff08;如AdamW&＃xff09;和更好的损失函数&＃xff08;CrossEntropy with label smoothing&＃xff09;训练。Cosine learning rate decay也在近年被大量使用&＃xff0c;因为相比 step decay&＃xff0c;它的调参更为简单而且效果不会差。在这篇工作中&＃xff0c;我们通过叠加实验量化了每种优化策略对PointNet&＃43;&＃43;的影响。同样的&＃xff0c;针对每一个数据集&＃xff0c;我们提出了一组改进的优化技术可以进一步提高网络性能。

模型架构现代化&＃xff1a;小修改 → 大改进

感受野缩放

在点云网络中&＃xff0c;使用不同的ball query radius &＃xff08;查询半径&＃xff09;会影响模型的感受野&＃xff0c;进而影响性能。我们发现初始半径对于网络性能有很大程度上的影响&＃xff0c;并且不同数据集上最佳查询半径不同。此外&＃xff0c;我们发现相对坐标 使得网络优化更难&＃xff0c;导致性能下降。因此&＃xff0c;我们提出利用相对坐标处以查询半径以实现的归一化&＃xff1a;

如果没有归一化&＃xff0c;相对坐标的值会非常小&＃xff08;小于半径&＃xff09;。这就要求网络能学习到更大的权重应用于 。这使得优化变得困难&＃xff0c;特别是考虑到权重衰减的正则化手段限制了网络权重的大小。

模型缩放

PointNet&＃43;&＃43; 用于分类和分割的模型规模均小于2M。而现在的网络参数普遍在10M以上[3&＃xff0c;4]。有趣的是&＃xff0c;我们发现无论是使用更多的SA模块还是使用更大的channel size都不会显著提高准确性&＃xff0c;却反而导致thoughput显著下降。这主要是梯度消失和过度拟合导致的。在本小节中&＃xff0c;我们提出了Inverted Residual MLP (InvResMLP&＃xff09;模块以实现高效实用的模型缩放。该模块建立在SA模块上&＃xff0c;如图一的中部所示。InvResMLP和SA模块的不同点有三个&＃xff1a;

• 在模块的输入和输出之间添加了残差连接&＃xff0c; 以缓解梯度消失问题

• 引入了可分离的MLP 以减少计算量&＃xff0c;并增强逐点的特征提取

• 引入inverted bottleneck的设计&＃xff0c;以提高特征提取的能力

在PointNet&＃43;&＃43;基础上结合InvResMLP 和图一所示的宏观架构变化&＃xff0c;我们提出了PointNeXt。我们将 stem MLP 的channel大小表示为 C&＃xff0c;将 InvResMLP 模块的数量表示为 B。我们 PointNeXt 系列的配置总结如下&＃xff1a;

• PointNeXt-S: C &＃61; 32, B &＃61; 0

• PointNeXt-B: C &＃61; 32, B &＃61; (1, 2, 1, 1)

• PointNeXt-L: C &＃61; 32, B &＃61; (2, 4, 2, 2)

• PointNeXt-XL: C &＃61; 64, B &＃61; (3, 6, 3, 3)

实验

在S3DIS语义分割上&＃xff0c;PointNeXt-XL以mIoU/OA/mACC&＃61;74.9%/90.3%/83.0%超越了Point Transformer取得SOTA性能且在推理速度上更快。在ScanObjectNN分类上&＃xff0c;PointNeXt-S超越目前的SOTA方法PointMLP&＃xff0c;且推理速度快十倍。在ShapeNetPart部分分割上&＃xff0c;加宽后的模型PointNeXt-S&＃xff08;C&＃61;160&＃xff09;达到87.2 Instance mIoU, 超越SOTA CurNet。

消融实验

上面论文和代码下载

后台回复&＃xff1a;PointNeXt&＃xff0c;即可下载上面的论文和代码

3D点云交流群成立
扫描下方二维码&＃xff0c;或者添加微信&＃xff1a;CVer222&＃xff0c;即可添加CVer小助手微信&＃xff0c;便可申请加入CVer-3D点云 微信交流群。另外其他垂直方向已涵盖&＃xff1a;目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注&＃xff1a;研究方向&＃43;地点&＃43;学校/公司&＃43;昵称&＃xff08;如3D点云&＃43;上海&＃43;上交&＃43;卡卡&＃xff09;&＃xff0c;根据格式备注&＃xff0c;可更快被通过且邀请进群▲扫码或加微信号: CVer222&＃xff0c;进交流群
CVer学术交流群&＃xff08;知识星球&＃xff09;来了&＃xff01;想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料&＃xff0c;欢迎扫描下方二维码&＃xff0c;加入CVer学术交流群&＃xff0c;已汇集数千人&＃xff01;▲扫码进群
▲点击上方卡片&＃xff0c;关注CVer公众号

整理不易&＃xff0c;请点赞和在看